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(54) CCD-Sensor fur schnelles Auslesen von BHdzonen oder -zeilen 



® Die Erfindung schiagt den FortfaN der Speicherzone eines 
bekannten CCD-Chips vor. Um zu vermeiden, daB diejenigen 
Bildinhalte aus dem CCD-Ladungsbild-Beretch (Bildzone) 
zeitintensiv erst herausgelesen werden mussen, wird nur der 
benotigte Teilbereich ausgelesen, dies konnen auch einzelne 
Zeilen oder Teile von Zeilen sein; der Rest des Bildes wird 
mit der Anti-Blooming-Elektrode des CCD-Bildsensors noch 
in der Bildzone geloscht. Die Anti-Blooming-Elektrode wird 
dabei entgegen ihrem eigentlichen Verwendungszweck - 
dem Verhindern von Ladungsuberlauf zwischen Potential- 
topfen des CCD-Chips - eingesetzt. Die Geschwindigkeiten 
(oder: Abtastraten) von bekannten CCD-Bildsensoren wer- 
den so verbessert, ohne den MeB- oder Auswertungsauf- 
wand zu vergroBern und bestimmte Bildbereiche (Zeilen 
oder Teilbilder) konnen sooft als moglich ausgelesen wer- 
den, um fur die Robotersteuerung schnell genaue Mefcwerte 
™ zur Verfugung zu stellen. 
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An heutige CCD-Bilderfassungen fur Robotersyste- 
me werden immer hdhere Anforderungen beziiglich ih- 
rer Genauigkeit und Geschwindigkeit gestellt Aufga- 
ben, fur die der Roboter samtliche sechs raumlichen 
Freiheitsgrade beherrschen mufl, treten immer haufiger 
auf. Eine Bahnsteuerung, die die abzufahrende Kontur 
allein aus den Datenbestanden einer CAD-Anlage oder 
aus nachtraglich gelernten Stiitzwerten errechnet, kann 
den erhohten Anforderungen an die Genauigkeit und 
Geschwindigkeit nicht mehr gerecht werden. Oft tritt 
das Problem auf, daB die zu bearbeitenden Teile pro- 
zeBbedingt unterschiedlich positioniert werden, so daB 
die Bahnkontur Streuungen unterworfen ist, oder die 
abzufahrende Kontur ist vorab uberhaupt nicht be- 
kannt. Spatestens dann ist eine sensorgestutzte Bahn- 
korrektur bzw. eine sensorgefiihrte Bahnverfolgung er- 
forderlich. Fiir diesen Zweck werden z. B. Laserab- 
standssensoren oder CCD-Zeilenkameras eingesetzt. 
Diese Sensoren haben die Nachteile, daB sie entweder 
nur wenige Freiheitsgrade gleichzeitig messen konnen 
oder eine fiir Echtzeitanforderungen zu geringe MeSra- 
te erreichen. Um diese Defizite auszugleichen, werden 
manchmal Systeme mit mehreren gleichen oder unter- 
schiedlichen Sensoren aufgebaut Solche "Multi-Sensor- 
systeme" erreichen schnell eine kaum zu beherrschende 
Komplexitat 

Es ist daher eine Aufgabe der Erfindung, die Ge- 
schwindigkeiten (oder: Abtastraten) von bekannten 
CCD-Bildsensoren zu verbcssern, ohne den MeB- oder 
Auswertungsaufwand zu vergroBern und sooft als mog- 
lich an bestimmte Bildbereiche (Zeilen oder Teilbilder) 
zu gelangen, um fiir die Robotersteuerung schnell ge- 
naue MeBwerte zur Verfugung zu stellen. 

Dazu schlagt die Erfindung den Fortfall der Speicher- 
zone eines bekannten CCD-Chips vor (Anspruch 6). Um 
zu vermeiden, daB diejenigen Bildinhalte aus dem CCD- 
Ladungsbild-Bereich (Bildzone) zeitintensiv erst heraus- 
gelesen werden mussen, wird nur der bendtigte Teilbe- 
reich ausgelesen, dies konnen auch einzelne Zeilen oder 
Teile von Zeilen sein; der Rest des Bildes wird mit der 
An ti- Blooming- Elektrode des CCD-Bildsensors noch in 
-derBildzone geloscht (Anspruchl)rDie-Anti^Blooming-- 
Elektrode wird dabei entgegen ihrem eigentlichen Ver- 
wendungszweck — dem Verhindern von Ladungsiiber- 
lauf ("Blooming") zwischen Potentialtdpfen des CCD- 
Chips — eingesetzt. 

Verandert sich der fur die Messung wesentliche Bild- 
ausschnitt, so kann er in seiner GroBe und in seiner 
Position nachgefuhrt werden. Die dabei gebildeten M dy- 
namisch veranderbaren Bildfenster" werden jeweils so 
ausgelesen, daB ein zeitintensives Auslesen und Ver- 
schieben aus der Bildzone in die Speicherzone so kurz 
als nur irgend moglich gehalten wird (Anspruch 4). Zur 
Beschleunigung kann auch die Anderung der Auslese- 
richtung des Ausleseregisters (Anspruch 5) dienen. 

Die Erfindung schlagt den schnellen Bildsensor be- 
sonders fiir die autonome Erfassung von Bahnkurven 
von Robotern vor; mit diesem MeBsystem konnen ftinf 
Freiheitsgrade im Raum in Echtzeit gemessen werden 
bei einer Abtastzeit von ca. 1 msec. 

Schnellere Mustererkennung, Qualitatskontrolle und 
andere Aufgaben fiir CCD-Bildsensoren sind Anwen- 
dungsgebiete der Erfindung. Die hohe Geschwindigkeit 
und Flexibility eroffnet zusatzlich neue Anwendungs- 
gebiete fur den Einsatz der CCD-Bildsensoren, teilweise 
auf Gebieten, die bisher nur den CCD-Zeilensensoren 



vorbehalten waren. Die groBe KJuft zwischen Bild- und 
Zeilensensoren kann damit fast vollstandig beseitigt 
werden. 

Die Verwendung eines Transputers als Mikrocontrol- 
5 ler bietet mittels einer Link-Verbindung eine einfache 
und schnelle Schnittstelle zur Kopplung des Sensors an 
ein Transputernetzwerk oder an jedes andere Gerat, 
das uber ein Link- Interface verfiigt (z. B. ein PC mit 
Link-Adapter). 
io Als Sensor kann eine Kamera Einsatz finden, die ent- 
sprechend den Vorschlagen der Erfindung modifiziert 
und adaptiert ist, ebenso kann auch eine bloBe Optik mit 
dahinter angeordnetem CCD-Chip vorgesehen sein. 
Die Ansteuerelektronik laBt sich mit wenigen Ande- 
15 rungen auch fiir andere CCD-Sensoren verwenden, was 
in praktischen Versuchen mit dem TH 7864A (von 
Thomson) gezeigt werden konnte. Ein "Universal-Se- 
quenzer" wird realisierbar, der die meisten gangigen 
CCD-Sensoren flexibel unterstiitzt. Hardwareanderun- 
20 gen ergaben sich dann lediglich bei der Realisierung 
unterschiedlicher Sensor-Interface- IComponenten. 

Den Kern der erwahnten Kamera bildet ein CCD- 
Bildaufnehmer mit z. B. 768*576 Bildpunkten, eine fOr 
den CCD-Chip speziell entwickelte Ansteuerelektronik 
25 sowie eine darauf abgestimmte digitale Auswerteelek- 
tronik. Diese Komponenten ermdglichen das gezielte 
und zeitoptimale Auslesen der jeweils bendtigten Bild- 
ausschnitte aus der Bildmatrix. Damit kann z. B. die er- 
ste Bildzeile bis zu 2500 mal pro Sekunde ausgelesen 
30 werden. Alle weiteren Bildzeilen werden dabei mit der 
Anti-Blooming- Elektrode bereits im Sensor geloscht, 
um die sonst erforderliche Auslesezeit einzusparen (An- 
spruch 1). Eine, zwei oder drei wahlbare, beliebig in der 
Bildzone angeordnete Bildzeilen konnen im Millisekun- 
35 dentakt ausgelesen und verarbeitet werden. 

Der Projektor projiziert z. B. sechs zu den Bildzeilen 
im wesentlichen senkrecht angeordnete (dtinne) MeBli- 
nien auf die Oberflache des zu vermessenden Objekts. 
Ein Linienerkennungsalgorithmus ermittelt die hoch- 
40 aufgelosten Positionen der MeBlinienmittelpunkte. Aus 
den Schnittpunkten zwischen den auf dem Sensor abge- 
bildeten MeBlinien und den ausgewerteten Bildzeilen 
lassen sich mit einem Triangulationsverfahren — ahn- 

iich-wie bei-einem^Laserabstandssensor die-Koordi- 

45 naten von Punkten auf der ObjektoberflSche berech- 
nen. Das MeBsystem simuliert somit eine Matrix aus 
n*m Laserabstandssensoren, wobei n die Anzahl proji- 
zierter MeBlinien und m die Anzahl ausgewerteter Bild- 
zeilen ist. Es kann auch die Position einer deutlich star- 
so keren, sich auf dem Objekt befindenden Linie (Bahn- 
markierung oder Objektkontur) erkannt werden. Sind 
die Koordinaten mehrerer Objektpunkte in der Nahe 
dieser linie gemessen worden, konnen durch Interpola- 
tion zwischen den entsprechenden Bildpunkten und 
55 dem Schnittpunkt der Linie mit einer Bildzeile auf dem 
Sensor die Koordinaten eines Linienpunktes auf dem 
Objekt mit hoher Genauigkeit ermittelt werden. 
Die meBbaren Freiheitsgrade sind; 



60 



65 



— die seitliche Abweichung der Roboterhand von 
der Bahnmarkierung(y-IComponente) 

— die Entfernung der Roboterhand zur Objekt- 
oberflache (z-Komponente) 

— die vollstandige Orientierung der Roboterhand 
bezuglich einer sich auf dem Objekt befindenden 
Bahnlinie (Wink 1 a, p und || entsprechend den Dre- 
hungen um die Koordinatenachsen Xh, yh und zh des 
handspezifischen Koordinatensystems). 
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Der verbleibende sechste Freiheitsgrad — die Vor- 
schubrichtung v langs der Bahnmarkierung B — wird 
nicht geregelt Eine Vorschubgeschwindigkeit v wird 
von der Bahnsteuerung explizit vorgegeben. Die Orien- 
tierung der Roboterhand 1 kann z. B. so geregelt wer- 5 
den, daB ein Werkzeug stets senkrecht zur Objektober- 
flache ausgerichtet ist und die x-Achse des handspezifi- 
schen Koordinatensystems genau in Bewegungsrich- 
tung langs der Bahn B zeigt. 

Zur Messung der fUnf Freiheitsgrade geniigt die Aus- 10 
wertung von nur zwei Bildzeilen. Mit der ersten Bildzei- 
le wird die Ist-Position der Roboterhand 1 relativ zu der 
Bahnmarkierung B erfaBt Aus der zweiten, vorauseilen- 
den Bildzeile kann die Position eines weiter vorn liegen- 
den Punktes der Bahn B bestirnmt werden (Der Punkt 15 
bildet sich durch den Schnitt von Abtastzeile und Bahn- 
kurve). Diese Daten konnen fur Bahnplanungs- und 
Vorsteuerungskonzepte genutzt werden. Durch Aus- 
wertung einer dritten, nachlaufenden Zeile kann die Gu- 
te der Vorsteuerung erhoht werden. 20 

Die mit dem MeBsystem erzielte MeBfrequenz yon 
1 kHz entspricht dem Interpolationstakt (Fl ms) einer 
Experimental-Robotersteuerung auf Transputerbasis. 

Nachfolgende Beispiele sollen das Verstandnis der 
Erfindung vertiefen: 25 

Fig. 1.1 zeigt schematisch die Blickwinkel von Projek- 
tor fur die MeBlinien und Kamera mit dem CCD-Sensor. 
Die Blickwinkel von Kamera und Projektor liegen in 
einem fest definierten Winkel und betrachten auf dem 
Objekt die Bahnverfoigungs-Linie, die es zu erkennen 30 
und nachzufuhren gilt, mit einem im wesentlichen glei- 
chen Ausschnitt Der dunkel gezeichnete Bereich in 
Fig- 1.1 projiziert MeBlinien oder andere symmetrische 
Strukturen auf die Oberflache des MeBobjektes. Die 
Kamera erfaBt diese MeBlinien zusammen mit der zwi- 35 
schen zwei der MeBlinien verlaufenden Bahnkurve (vgl. 
auch Fig. 22). Senkrecht zur MeBlinienrichtung und in 
etwa senkrecht zur Bahnlinienrichtung B verlauft die 
Abtastrichtung a des zeilenorientierten CCD-Chips. 
Der Blickwinkel der Optik der Kamera ist hellgrau in 40 
Fig, 1.1 dargestellt. 

Fig. 1.2 verdeutlicht die Bewegung des Objektes mit 
-seiner Oberflache und die dabeientstehende Oberlap- 
pung der Blickwinkel von Projektor und Kamera. 

Fig. 2.1 ist eine VergroBerung in schematischer Dar- 45 
stellung des vorderen Endes einer Roboter-Hand 1. An 
ihr ist die in den zuvor erwahnten Figuren skizzierte 
Kamera 4 mit CCD-Bildsensor 5 und Objektiv 6 ange- 
ordnet, wahrend im Winkel zur Mittelachse der Kamera 
4 das MeBlinien-Projektorgehause 8 angeordnet ist mit 
seiner Kondensorlinse 9, dem die Linien-Struktur defi- 
nierenden MeBdia 10 und der Abbildungslinse 11. Hin- 
ter der Kondensorlinse 8 ist ein Feld mit einer Vielzahl 
von leuchtstarken LED-Dioden 7 angeordnet die stro- 
boskopartig die MeBlinien des Dias 10 auf die Objekt- 
oberflache projizieren. Mit der stroboskopartigen Be- 
leuchtung der Oberflache ist die Auslesung der Bildzone 
des CCD-Chips 5 synchronisiert, so daB Fremdlichtein- 
fluB unterdriickt werden kann. 

Bewegt sich die Roboterhand 1, so bewegt sich die 
MeBeinrichtung 4 und 8 gemeinsam mit ihr, da Projek- 
tor und Kamera in einem gemeinsamen Gehause 3 oder 
an einer gemeinsamen Befestigungsplatte dieses Ge- 
hauses 3 angeordnet sind. Die Befestigungsplatte 3 ist 
iiber einen Flansch 2 an der Roboterhand unbeweglich 
fixiert. 

Der Blick auf die MeBoberflache ist in Fig. 22 erlau- 
tert die MeBlinien \\ bis Ie konnen dunkle Linien sein, 
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wahrend das Restfeld hell ausgeleuchtet ist Die Kontur 
der Bahnkurve B verlauft dabei innerhalb von zwei 
MeBlinien, dargestellt ist der Verlauf zwischen den 
MeBlinien 1 3 und U Die Lange der MeBlinien in Bewe- 
gungsrichtung v der Roboterhand 1 kann abhangig da- 
von gemacht werden, wie stark gekrummt die Bahnkur- 
ve B ist 

Bei der Verwendung eines CCD-Zeilensensors fur ei- 
ne autonome Linienverfolgung stellt sich die Frage nach 
der Anbringung des Sensors — mit oder ohne Vorlauf, 
optimale Vorlaufdistanz. Die Art der Anbringung beein- 
fluBt die Eigenschaften des Systems, wobei sie unter den 
Gesichtspunkten erzielbare Genauigkeit, maximale 
Verfahrgeschwindigkeit sowie Moglichkeiten fur eine 
Bahnplanung und Vorsteuerung optimiert werden soll- 
te. Eine dynamische Variation des Zeilenvorlaufs ist 
wiinschenswert, technisch jedoch schwierig realisierbar. 

Durch Auswertung von zwei Zeilen des CCD-Bild- 
sensors konnen alle erforderiichen Informationen ge- 
wonnen werden, um die Lage und Orientierung der Ro- 
boterhand 1 bezuglich der Bahn B vollstandig zu be- 
stimmen. Die Nachteile der hoheren Ausiesezeit eines 
CCD-Bildsensors und seine vorgegebene starre (ubli- 
che) Ausleseprozedur zur Einhaltung der CC1R-TV- 
Nonn des Ausgangssignalverlaufs wiirde die maximale 
erzielbare Bildfolge auf 25 Vollbilder bzw. 50 Halbbilder 
pro Sekunde reduzieren, wenn nicht mit der Erfindung 
die Geschwindigkeit betrachtlich erhoht wiirde. Auch 
die bei Bildsensoren anfallende groBe Datenmenge, die 
verarbeitet oder zumindest erfaBt werden muB, "hand- 
habt" die Erfindung problemlos. 

Nachfolgend werden die beschleunigenden Vorschla- 
ge beispielhaft vorgestellt, um ein zeitoptimales Ausle- 
sen nur wenigen benotigten Bildzeilen aus einem CCD- 
Bildsensor zu ermoglichen. Die Verfahren sind z. B. mit 
dem THX 7868A oder TH 7864A von Thomson beson- 
ders effizient 

Bildsensoren sind im allgemeinen an die Darstellungs- 
dauer eines Fernsehbildes angepaBt Das Bild .wird in 
zwei aufeinanderfolgenden Halbbildern (Zwischenzei- 
lenverfahren) ausgelesen, wobei die Auslesedauer fxir 
jedes Halbbild 20 ms betragt. Fur ein komplettes Bild 
werden somit 40 ms-benotigt .Dieser Faktor al lein b e- 
schrankt die MeBrate bereits auf maximal 25 Messun- 
gen pro Sekunde — theoreusch. Hinzu kommt die Ver- 
arbeitungszeit fiir die anfallenden Daten(un)mengen. 
Die Verarbeitung der Daten dauert meist ein Vielf aches 
der Ausiesezeit. Fiir eine qualitativ hochwertige Robo- 
tersteuerung mit einem Interpolationstakt von wenigen 
Millisekunden waren diese MeBraten bislang nicht ge- 
eignet Notig waren MeBraten, die idealerweise dem 
Interpolationstakt entsprechen oder zumindest weniger 
als eine GroBenordnung darunter liegen. 

Durch eine flexible Ansteuerung eines geeigneten 
CCD-Bildsensors, d. h. durch Aufgabe der starren An- 
steuerung gernaB dem CCIR-TV- Standard, laBt sich ei- 
ne derart hohe MeBrate mit einem vertretbaren Auf- 
wand erzielen. Dabei werden samtliche nicht benotigten 
Bildinformationen bereits im Sensor geloscht, um die 
60 Auslese- und Verarbeitungszeit einzusparen. Dadurch 
kann der Zugriff (nur) auf die benotigten Daten zeitopti- 
mal erfolgen. 

Mit einem sechsachsigen Gelenkarmroboter wurden 
die Vorschlage der Erfindungen erprobt Fur die Erfas- 
65 sung von fiinf raumlichen Fr iheitsgraden werden die 
Bildinformationen aus zwei bis drei (vorzugsweise belie- 
big wahlbaren) Bildzeilen benotigt Bei Vorschubge- 
schwindigkeiten von bis zu 1 m/sec (36 km/h) wird die 
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Bahn-Kontur B bzw. MeBlinie noch hinreichend genau 
aufgeJost (1 MeBpunkt/mm). Daraus ergibt sich eine 
MeBrate von 1000 Messungen pro Sekunde. Diese MeB- 
rate entspricht dem Interpolations-Takt der rwahnten 
Steuerung auf Transputerbasis. 5 

Zum Hintergrund der CCD-Bildsensoren, die in drei 
Gruppen eingeteilt werden: 



Interline-Transfer-Sensoren 

Frame-Transfer-Sensoren 

Frame-Interline-Transfer-Sensoren 



10 



Ein typischer Frame-Transfer-Bildsensor ist in 
Fig. 3.1 vereinfacht dargestellt. Er besteht aus folgenden 
Funktionseinheiten: 15 

— einer Bildzone, die aus einer zweidimensionalen 
Matrix einzelner Bildelemente (Pixel) gebildet 
wird; 

— einer gleichgroBen Speicherzone; 20 

— dem unmittelbar an die Speicherzone angren- 
zenden Ausleseregister, dessen Lange der Pixelzahl 
einer Pixelzeile der Bild- und Speicherzone ent- 
spricht; 

— der an das erste Pixelelement des Ausleseregi- 25 
sters angeschlossenen Ausgangsstufe. 

Die Bild- und die Speicherzone sind weitgehend iden- 
tisch aufgebaut Die Speicherzone ist jedoch durch eine 
lichtundurchlassige Schicht abgedeckt, so daB einfallen- 30 
des Licht dort keine Wirkung zeigt. Ferner fehlen in der 
Speicherzone samtliche Vorrichtungen fur eine Belich- 
tungssteuerung, da sie dort nicht benotigt werden. 

Die in der Bildzone durch Lichteinwirkung generier- 
ten Ladungen (Ladungsbild) lassen sich innerhalb der 35 
beiden Zonen mit Hilfe von (zumeist vier um 90° pha- 
senverschobenen) Taktsignalen nach dem Eimerketten- 
prinzip vertikal verschieben. Fur Bild- und Speicherzo- 
ne stehen jeweils getrennte Taktsignale (P-Takte und 
M-Takte) zur Verfugung, damit sich die Ladungen in der 40 
Speicherzone auch separat verschieben lassen ohne die 
Ladungen in der Bildzone zu beeinflussen. 

Die Ladungen aus der Zeile, die sich unmittelbar an 
~~das Ausleseregister anschlieBtrkonnen in _ einem einzi- 
gen Schritt in das Ausleseregister hineingeschoben wer- 45 
den. Im Ausleseregister konnen sie dann mittels weite- 
rer Taktsignale (L-Takte) horizontal zu einer Ausgangs- 
stufe transportiert werden. Die Ausgangsstufe wandelt 
die Ladungspakete in eine der Ladungsmenge propor- 
tionate Spannung um, die am Videoausgang des Sensors 50 
abgegriffen werden kann. 

Fig. 3.2 zeigt den zeitlichen Ablauf einer Bildaufnah- 
me und des sich anschlieBenden Auslesevorgangs. 

Ausgehend von der Anfangssituation (a), in der so- 
wohl die Bildals auch die Speicherzone ladungstrager- 55 
frei sind, wird der Sensor erstmalig belichtet In der 
Bildzone werden wahrend der Belichtungszeit die durch 
Lichteinwirkung generierten Ladungstrager in sog. Po- 
tentialtopfen auf integriert (b bis d). Die Integrations- 
dauer betragt nach CCIR-TV-Standard knappe 20 ms. 60 
Sie laBt sich jedoch bei vielen modernen Sensoren durch 
eine geeignete Taktsteuerung beliebig verkleinern 
(electronic shutter). 

Nach Ablauf der Belichtungszeit erfolgt ein Vertikal- 
transfer der Ladungen aus der Bildzone in die Speicher- 65 
zone (e und f)- Der Transfer dauert typisch ca. 350 \is. 
Wahrend des Vertikaltransfers werden weiterhin La- 
dungen durch Lichteinwirkung erzeugt, die ebenfalls auf 



integriert werden und das Bild leicht verschmiercn 
(smearing effect). Die Verschmutzung macht sich in der 
ersten Zeile natiirlich nicht bemerkbar und ist in der 
letzten Bildzeile am starksten. Sie ist idR. gering, weil 
das Verhaltnis Transferzeit/Integrationszeit sehr klein 
ist (350/20 000 = 0,0175). Der EinfluB des Verschmieref- 
fekts erlangt jedoch zunehmende Bedeutung, je weiter 
die Belichtungszeit mit Hilfe des Electronic Shutter re- 
duziert wird. Extrem helle Bildpunkte konnen ebenfalls 
einen deutlich sichtbaren Schweif (Zieheffekt) verursa- 
chen. 

Nach AbschluB des Vertikaltransfers befindet sich 
das Bild voilstandig in der Speicherzone, wobei die erste 
Bildzeile unmittelbar am Ausleseregister zu liegen 
kommt Es folgt das zeilenweise Auslesen des Bildes aus 
der Speicherzone iiber das Ausleseregister zur Aus- 
gangsstufe. In der dafur benotigt en Zeit - also parallel 
dazu — wird das nachste Bild in der Bildzone auf inte- 
griert (g bis i). Nach Beendigung des Ausleseprozesses 
ist wieder der in (d) dargestellt e Zustand erreicht und 
der zyklische Ablauf beginnt von neuem. 

Sind also in der Bildzone des Sensors durch Lichtein- 
fall erst einmal Ladungen generiert worden, so konnen 
sie nur durch das zeitaufwendige, sequentielle Heraus- 
schieben aller Bildzeilen fiber das Ausleseregister in die 
Ausgangsstufe beseitigt werden. 

Fig. 33 veranschaulicht die Ergebnisse wenn das ge- 
samte mittlere Drittel des Bildes im Ausleseregister zu- 
sammengeschoben wird, um schneller an die Bildinhalte 
im letzten Drittel des Bildes heranzukommen. Die 
schwarz dargestellte Flache im Bild stellt den zusam- 
mengeschobenen Bereich dar. Obwohl das Bild insge- 
samt recht dunkel ist, wird ein groBer Teil des letzten 
Bildabschnitts von Ladungen "uberflutet". 

Um an die Informationen aus lediglich zwei beliebi- 
gen "Nutzzeilen" — den Bildausschnitt — schnellstmOg- 
lich heranzukommen ohne die Inhalte der Nutzzeilen zu 
zerstoren oder zu beeintrachtigen werden ausgefuhrt: 

1. Vertikaltransfer des Bildes aus der Bildzone in 
die Speicherzone. 

2. Zusammenschieben der nicht benOtigten Zeilen 
bis auf ca. acht Zeilen vor der ersten Nutzzeile. 

WShrenddessen— lauft ein -schneller —Horizontal — 

transfer ab. 

3. Auslesen von sieben Zeilen mit schnellem Hori- 
zontal transfer. 

4. Auslesen der letzten Zeile vor der eigentlichen 
Nutzzeile mit normaler, qualitatsbewahrender 
Schiebefrequenz. 

5. Auslesen der ersten Nutzzeile mit normaler 
Schiebefrequenz. 

6. Wiederholung der Schritte 2. bis 5. fur die zweite 
Nutzzeile. 

7. Loschen samtlicher evtl. noch folgender Bildzei- 
len auf irgendeine Weise. 

Der letzte Schritt kann auch entf alien. 

In der Bild- und in der Speicherzone werden horizon- 
tal benachbarte Pixel durch vertikal verlaufende ortsfe- 
ste Potentialbarrieren getrennt, die mittels eines Gat- 
ters erzeugt werden. Uber das am Gatter anliegende 
Potential laBt sich die Hone des Potentialwalls einstel- 
len. Selbst wenn die Hohe des Potentialwalls groB ein- 
gestellt wird, kann es vorkommen, daB durch Oberbe- 
lichtung des Sensors die Potentialt5pfe iiberquellen und 
Ladungen in benachbarte, weniger stark belichtete Bild- 
elemente abflieBen. Die damit zusammenhangenden 



BNSDOClD: <DE 4447434A1_I_> 



DE 44 47 

7 

storenden Beeimrachtigungen des Bildes werden als 
"Blooming 1 '* bezeichnet In modernen CCD-Sensoren ist 
daher meistens eine sog. Anti-Blooming-Einheit zur 
Vcrhinderung dieses Effekts integriert. Das Gatter zwi- 
schen zwei benachbarten Pixelspalten ist hierzu in zwei 5 
Einzelelektroden unterteiit, wobei im Zwischenraum ein 
sog. Anti-Blooming-Drain eingefugt ist. Das Anti-Bloo- 
ming-Drain nimmt die GberschuBelektronen aus den 
uberfailten Potentialtdpfen auf, die sonst in die benach- 
barten Potentialtopfe hineinflieBen wurden. 10 

Mittels der das Drain steuernden Anti-Blooming-Ein- 
heit laBt sich ein Electronic Shutter zur Einstellung der 
Belichtungszeit realisieren. Durch die Anhebung der 
Potentialtopfboden auf das Niveau des Potentialwalls 
— die Potentialtopfe verschwinden dann vollig — flie- 15 
Ben samtliche durch Lichteinwirkung generierten La- 
dungen sofort in das Anti-Blooming-Drain ab. Die An- 
hebung der Potentialtopfboden wird erreicht, indem alle 
vier P-Takte auf das gleiche, passend gewahlte Potential 
gelegt werden. Erst wenn die Potentialtopfboden wie- 20 
der abgesenkt werden, beginnt die Integration der op- 
tisch generierten Ladungen. Mit dem Electronic Shutter 
lassen sich extrem kurze Belichtungszeiten von einigen 
wenigen Mikrosekunden realisieren. 

Das Aktivieren der Electronic-Shutter-Funktion un- 25 
mittelbar vor dem Vertikaltransfer des Bildes aus der 
Bild- in die Speicherzone liefert ein absolut schwarzes 
Bild. Dies konnte anhand von Untersuchungen an den 
Sensoren TH 7864A und THX 7868A nachgewiesen 
werden. Damit eroffnet sich die Moglichkeit, wahrend 30 
des Vertikal transfers, unmittelbar nach der Obernahme 
einer bestimmten, frei wahlbaren Zeile aus der Bildzone 
in die Speicherzone die Shutter-Funktion zu aktivieren, 
was das Loschen des sich noch in der Bildzone befinden- 
den Restbildes zur Folge hat. Der sich bereits in der 35 
Speicherzone befindende Teil des Bildes wird dabei in 
keiner Weise beeintrachtigt. Die Shutter-Funktion laBt 
sich damit zur Einstellung der Anzahl m auszulesender 
Zeilen benutzen (0<m< 292 beim TH 786A). 

Da die Ladung der (292-m) restlichen Bildzeilen voll- 40 
standig beseitigt werden kann, miissen auch nur die La- 
dungen der ersten m Zeilen aus der Speicherzone uber 
das-Ausleseregister herausgeschoben werden.Der Zeiu__ 
aufwand zum Verarbeiten der letzten (292-m) nichtrele- 
vanten Zeilen entfallt also ganzlich. Wird insbesondere 45 
nur die erste Bildzeile benotigt, d. h. der Bildsensor wird 
als Zeilensensor genutzt, sind auf diese Weise Bildfolgen 
von bis zu 2500 Bildern pro Sekunde erreichbar. Der 
"MiBbrauch" der Anti-Blooming-Elektrode zum Lo- 
schen der Bildzone ist vom Hersteller nicht vorgesehen. 50 

Fig. 3.4 veranschaulicht den beschriebenen Auslese- 
zyklus, bei dem beispielsweise nur die erste Halfte des 
Bildes ausgelesen wird. Ausgehend von einem fertig be- 
lichteten Bild in der Bildzone (a) wird zunachst ein Ver- 
tikaltransfer der ersten 146 Zeilen in die Speicherzone 55 
durchgefuhrt (b). Sobald sich die ietzte auszulesende 
Zeile in der Speicherzone befindet, werden die P-Takte 
angehalten und das restliche Teilbild in der Bildzone mit 
der Anti-Blooming-Einheit geloscht (c). Wahrend des 
nur wenige Mikrosekunden dauernden Loschvorgangs 60 
wird das auszulesende Teilbild weiter in Richtung Aus- 
leseregister verschoben (d). Das Loschen tragt effektiv 
keinen Beitrag zur Gesamt-Auslesedauer bei. 

Nach erfolgtem Loschvorgang beginnt in der Bildzo- 
ne bereits die Integration des nachsten Bildes. Dieser 65 
Vorgang lauft wiederum zeitgleich mit dem Auslesen 
der ersten Bildhalfte aus der Speicherzone (e, f)* 

Mit den bisher diskutierten MaBnahmen ware das 
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Auslegen von zwei beliebigen Bildzeilen auch mit dem 
TH 7864A in nur etwa drei bis sechs Millisekunden 
denkbar. 

Der CCD-Bildsensor THX 7868A bietet als besonde- 
res Merkmal eine sog. Windowing-Einheit (windowing 
device), mit der beliebige Bildzeilen einzeln und in nur 
typisch 2 \is restlos geloscht werden konnen. Das Ausle- 
sen einer Zeile dauert demgegeniiber ca. 64 u.s. 

Die Windowing-Einheit ist eine parallel zum Auslese- 
register angeordnete Loschvorrichtung. Sie besteht im 
wesentlichen aus dem Windowing- Drain, das durch das 
Windowing-Gate vom Ausleseregister getrennt ist 
Wahrend des normalen Betriebs wird an das Windo- 
wing-Gate ein Potential angelegt, das eine fur die im 
Ausleseregister enthaltenen Ladungen uniiberwindbare 
Potentialbarriere erzeugt Bei Absenkung der Potential- 
barriere durch eine geeignete Spannungsansteuerung 
des Windowing-Gate strdmen die Ladungen aus dem 
Ausleseregister in das Windowing- Drain ab, was einem 
Loschen der Zeiieninformation gleichzusetzen ist. Eine 
gezielte Ansteuerung des Windowing-Gate erlaubt 
folglich das schnelle Loschen einzelner Bildzeilen und 
Bereiche, wodurch der hohe Zeitaufwand zum seriellen 
Auslesen der betreffenden Bildzeilen eingespart werden 
kann. 

In Experimenten hat sich herausgestellt, daB mit der 
Windowing-Einheit das Loschen von Teilen einer Zeile 
sauber bewerkstelligt werden kann. Es ergibt sich somit 
die Moglichkeit, nur die ersten n Pixel (0 < n < 845) einer 
Zeile auszulesen, die relevante Informationen enthalten. 
Der nicht benotigte Teil der Zeile (die 845-n letzten 
Pixel) kann geloscht werden, um eine weitere Zeiter- 
sparnis zu realisieren. 

Als weitere Besonderheit verfugt der THX 7868A 
uber eine zweite Ausgangsstufe, die analog zur ersten 
Stufe aufgebaut ist, jedoch mit dem Unterschied, daB sie 
mit dem letzten anstatt mit dem ersten Bildelement des 
Ausleseregisters verbunden ist. Durch geeignete An- 
steuerung der Schiebetakte am Ausleseregister laBt sich 
die horizontale Transferrichtung beeinflussen. Durch 
Umkehr der normalen Schieberichtung gelangen die 
Zeileninformationen in umgekehrter Reihenfolge an die 
zweite Ausgangsstufe. Ein ub er di esen Ausgang ausge- 
lesenes Bild erscheint horizontal gespiegelt. Befinden 
sich die gewunschten Bildinhalte mehr in der linken 
Halfte des Bildes, so werden die Zeilen normal ausgele- 
sen. Sind die Informationen jedoch aberwiegend rechts 
im Bild, werden die Zeilen gespiegelt ausgelesen. 

In Kombination mit der Option zum Loschen von 
Teilen einer Zeile kann die Spiegelungsfunktion dazu 
benutzt werden, noch schnetler an die gewunschten In- 
formationen eines Bildes heranzukommen. 

Da fur eine schnelle Konturverfolgung nur wenige, 
jedoch weit auseinanderliegende Zeilen in sehr kurzer 
Zeit ausgelesen werden miissen, ist die Windowing- 
Funktion des Sensors fur die vorgesehene Anwendung 
vorteilhaft. 

Als Beispiel sei hier die sog. Tracking-Funktion ge- 
nannt. Mit der Tracking-Funktion kann ein z. B. beson- 
ders heller Punkt aufgrund der schnellen erzielbaren 
Bildfolge mit einer hohen zeitlichen und raumlichen 
Auflosung verfolgt werden. Der Bildausschnitt kann — 
der Position des Punktes folgend — in Echtzeit nachge- 
fuhrt werden, wobei die erforderliche FenstergroBe und 
Position in Abhangigkeit von der aktuellen Geschwin- 
digkeit und Bewegungsrichtung gewahlt werden kon- 
nen (Fig. 3.6). Hierfur sind interessante Einsatzgebiete 
denkbar, beispielsweise die Motographie. 
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Da bei der geplanten Anwendung der Kamera auf- 
grund des selektiven Auslesens von Teilbildern nicht 
mehr die gesamte normalerweise zur Verfugung stehen- 
de Belichtungszeit fur das jeweils nachste Bild verfug- 
bar ist, kann eine stroboskopische Beleuchtung mit in- 
tensiven Lichtblitzen vorgesehen werden, um die Emp- 
findlichkeit zu erhohen. 

Wird nur stroboskopartig beleuchtet kann die Spei- 
cherzone entfallen. 

Eine Obersicht uber die Schaltungskomponenten ei- 
ner alle features kombinierenden Karneraelektronik ist 
im Blockschaltbild Fig. 4.1 gegeben. Zur technischen 
Realisierung des Kamera-Sequenzers sei angemerkt, 
daB die Ablaufsteuerwerke als einfache Mealy- Automa- 
ten entworfen wurden, die in insgesamt fiinf PLD-Bau- 
steinen vom Typ MACH210-15 der AMD unterge- 
bracht sind. 

Die Karneraelektronik beinhaltet einen eigenen Mi- 
krorechner auf Transputerbasis. Der IMS T222 ist uber 
die Systemlogik in die hierarchische Struktur eines 
ubergeordneten Transputerknotens (Up-System) als 
untergeordneter Knoten (Down-System) eingebettet. 
Der Transputer empfangt uber Link 0 Steuerkomman- 
dos von einem kontrollierenden Transputer. Das ist im 
allgem einen der Transputer der Frame-Grabber- Bau- 
gruppe. Die Kamera kann aber auch von beliebigen 
anderen Transputerbaugruppen oder von einem PC mit 
Link-Adapter kontrolliert werden. Einzige Vorausset- 
zung dazu ist, daB die Link-Verbindung differentiell aus- 
gefiihrt sein muB, da die Link-Treiber gemaB der 
RS422-Norm spezifiziert sind. Die differentielle Ober- 
tragung wurde gewahlt, da sie besonders robust gegen- 
uber elektromagnetischen St6reinflussen ist. Sie ge- 
wahrleistet einen storungsfreien Betrieb in der stark 
gestorten Umgebung. 

Ober den 2048 • 16 Bit (4 kByte) groBen Zweitorspei- 
cher und die vier 16- Bit-Register kann der Kamerase- 
quenzer vom Transputer programmiert und kontrolliert 
werden. Fur den praktischen Einsatz der Kamera be- 
deutet dies, daB das Auslesen eines jeden Bildes aus dem 
CCD-Sensor individuell programmiert werden kann. 
Die angesprochene Tracking-Funktion wird somit vom 
Sequenz er direkt unterstutzt. 

Die vom Sequenz er generiertendigitalen Taktsigna- 

le fur den CCD-Sensor werden uber Koaxialkabel zur 
Kamera ubertragen. Dort werden sie von dem Sensor- 
Interface auf die Spannungspegel umgesetzt, wie sie fur 
die Sensoransteuerung im Datenblatt spezifiziert sind. 
Das Sensor- Interface sorgt insbesondere auch fur die 
Einhaltung der geforderten Flankensteilheiten. Zur Ge- 
nerierung samtlicher Taktsequenzen wurde ein Kame- 
ra-Sequenzer aufgebaut, der in drei Zeitebenen jeweils 
mehrere einfache Grundfunktionen ausfiihren kann, 
wobei deren Ablauf durch Programmierung modifiziert 
werden kann. Die drei Zeitebenen werden wie folgt be- 
grundet: 

— Zyklen zum Verarbeiten einzelner Pixel (ca. 67 
ns) 

— Zyklen zum Verarbeiten einzelner Bildzeilen 
(bisca.61 jxs) 

— Zyklen zum Verarbeiten von Halbbildern (bis ca. 
20 ms) 

Fig. 4.4 gibt eine Obersicht uber die Funktionsbldcke 
des Kamera-Sequenzers. Der Sequenzer ist aus zwei 
Steuerwerken gebildet, die hierarchisch angeordnet 
sind, ansonsten aber weitgehend unabhangig voneinan- 
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der arbeiten. Er generiert 16 verschiedene digitale An- 
steuertakte zum zeitoptimalen Auslesen der relevanten 
Bildausschnitte und zum Loschen aller nicht benotigten 
Bildbereiche. Unterschiedliche Teilfunktionen der Steu- 
5 erwerke werden in Abhangigkeit von programmierba- 
ren Eingangsparametern und Eingangs-Flip-Flops ge- 
neriert. 

Die Shutter-Register 

10 

Die beiden Shutter-Register werden fur eine elektro- 
nische Belichtungszeitsteuerung benutzt Zu Beginn ei- 
nes Bildzyklus wird der Belichtungszahler mit dem In- 
halt eines Shutter- Registers geladen. AnschlieBend wird 
is der Belichtungszahler mit einem Taktzyklus von ca. 533 
ns auf Null heruntergezahlt Solange der Zahlerinhalt 
nicht Null ist, wird durch geeignete Ansteuerung der 
P-Takte die Ausbildung von Potentialtopfen unterbun- 
den, so daB alle generierten Ladungen in das Anti-Bloo- 
20 ming-Drain abflieBen und die Integration eines Bildes 
unterbunden wird (electronic shutter). Sobald der Wert 
Null erreicht ist, wird die Integration des Bildes freige- 
geben. Die Belichtungsfreigabe wird ferner als externes 
Signal zur Ansteuerung einer stroboskopischen Licht- 
25 quelle 7 genutzt, so daB das Blitzlicht exakt im richtigen 
Zeitpunkt — zu Beginn der Belichtung — gezundet wer- 
den kann. 

Die beiden Shutter-Register konnen unabhangig von- 
einander auf unterschiedlich lange Verzogerungszeiten 
30 programmiert werden. So ist es beispielsweise denkbar, 
eine Szene in jeweils zwei aufeinanderfolgenden Halb- 
bildern unter anderen Lichtverhaltnissen aufzunehmen. 
Wird z. B. ein Shutter-Register mit dem Wert Null initia- 
lisiert und das andere mit einem Wert, der zu einer 
35 Belichtungszeit von nur 100 us fuhrt, so wird die Bild- 
szene in dem einen Bild bei Tages- oder Umgebungs- 
licht aufgenommen, wahrend die Szene im darauffol- 
genden Bild mit — eventuell strukturiertem — Blitzlicht 
aufgenommen wird. Der EinfluB des Tages- und Umge- 
40 bungslichts ist bei der Blitzlichtaufnahme aufgrund der 
kurzen Belichtungszeit praktisch vollstandig unter- 
driickt. 

— — - Die Bildparameter-Register 

45 

Ober die beiden 16 Bit breiten Bildparameter-Regi- 
ster lassen sich — abgesehen von der Belichtungsverzd- 
gerung — samtliche Bildparameter programmieren. 
Fig. 4.5 zeigt die Belegung der einzelnen Bits eines Bild- 
so parameter-Registers. 

Start 

Die Initialisierung des Sequenzers durch Setzen die- 
55 ses Bits nach dem Einschalten der Kamera oder nach 
einem Reset gewahrleistet einen definierten Start der 
Steuerwerke und dient zur Synchronisation mit dem 
Transputer. 

60 Reset 

Rucksetzen des Sequenzers. Das Ablaufsteuerwerk, 
das Taktsteuerwerk und samtliche Zahler werden in den 
Grundzustand versetzt. Dabei werden alle Takte und 
65 andere Ausgangssignale auf ein definiertes, unkritisches 
Ruhepotential gesetzt Nach dem Reset muB fur inen 
definierten Start des Sequenzers das Start-Bit gesetzt 
werden. 
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Fig. 4.5 zeigt die Belegung der Bits eines einzelnen 
Zeilenparameter-Registers. 

Anzahl Pixel aus der Zeile (10 Bit) 

Mit den niederwertigsten 10 Bit wird der Pixelzahler 
geladen, der liber die Anzahl der Pixel-Ausgabezyklen 
fur die aktuelle Zeile entscheidet Nach der Ausgabe der 
prograrnmierten Pixelzahl wird die Windowing-Einheit 
aktiviert und der Rest der Zeile geloscht. 

Links Shift 

Jede Zeile kann wahlweise zum linken oder rechten 
Sensorausgang ausgegeben werden. Das Bit gibt dem 
Steuerwerk die gewunschte Schieberichtung bekannt. 
1st das Bit gesetzt, wird die Zeile in normaler Richtung 
uber VOS1 ausgelesen. 1st das Bit geloscht, wird die 
Zeile in umgekehrter Richtung uber VOS2 ausgelesen. 
Das Steuerwerk beriicksichtigt automatisch die unter- 
schiedliche Anzahl nichtrelevanter Pixel am Zeilenan- 
fang und -ende. Eine Bildzeile setzt sich namlich aus 845 
Pixeln zusammen, wobei nur 768 Pixel Bildinformatio- 
nen enthalten. Die restlichen Pixel werden als sog. Pre- 
Scan-, Post-Scan- und Dunkelreferenzpbcel verwendet. 
In Abhangigkeit von der Schieberichtung erscheinen sie 
in einer anderen Reihenfolge am Sensorausgang: 

Ausgang VOS1 

— 14 Post- Scan-Pixel 

— 50 Dunkelreferenzpbcel 

— 768 Bildpixel 

— 13Pre-Scan-Pixel 

Ausgang VOS2 

— 13 Pre-Scan- Pixel 

— 768 Bildpixel 

— 50 Dunkelreferenzpbcel 

— 14 Post-Scan-Pixel 
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— Loschen der verbleibenden Zeilen in der Bildzo- 
ne. Ab jetzt kann bereits parallel zu alien folgendcn 
Ausleseoperationen die Belichtung des nachsten 
Bildes durchgefuhrt werden, 

— Verschieben der 50 Zeilen in der Speicherzone 
bis zum Ausgaberegister. 

— Auslesen der Zeile 1. 

— Loschen der Zeilen 2 bis 49 mit Hilfe der Windo- 
wing-Einheit. 

— Auslesen der Zeile 50. 



Ober die Schnittstelle zum "Frame-Grabber" (Teil- 
bild-Erf asser) signalisiert der Sequenz er nur- die- Ausga- 
be der relevanten Bildpixel. Die nichtrelevanten Pixel 
werden vom Frame-Grabber daher uberhaupt nicht 45 
verarbeitet. 

Letzte Zeile 

Das Bit muB in der letzten zu verarbeitenden Zeile 50 
gesetzt sein, da es den Sequenzer anweist, den Bildzy- 
klus zu beenden und mit dem nachsten Bildzyklus zu 
beginnen. 



Auslesen 



Das Bit signalisiert dem Sequenzer, ob die Zeile aus- 
gelesen oder geloscht werden soli. 1st das Bit gesetzt, so 
wird die Bildzeile bis zu der prograrnmierten Pixelzahl 
ausgelesen. Ansonsten wird die Zeile anstelie des Hori- eo 
zontaltransfers-augenblicklich durch Aktivieren der 
Windowing-Einheit geloscht AnschlieBend wird die 
nachste Zeile abgearbeitet. 

Das Bild wird vom Steuerwerk auf folgende Weise 
zeitoptimal aus dem CCD- Sensor ausgelesen : 65 

— Ausschieben der Zeilen 1 bis 50 aus der Bildzone 
in die Speicherzone. 



Nach dem letzten Schritt ist die Speicherzone voll- 
standig leergeraumt. In der Bildzone wurde zwischen- 
zeitlich bereits das nachste Bild belichtet und kann aus- 
15' gelesen werden. 

Nach der Programmierung des Sequenzers lauft der 
geschilderte Auslesevorgang periodisch ab. Der externe 
Synchronisationsmechanismus zum Antriggern des 
Auslesevorgangs (Signal Start Bildzyklus in Fig. 4.1) und 
das Signal zur synchronen Ansteuerung einer strobo- 
skopischen Beleuchtung kCnnen dafur genutzt werden, 
einen zum Abtast- und Regel-Takt der Robotersteue- 
rung synchronisierten Betrieb zu realisieren. 

Die beschriebenen Funktionen der flexiblen Kamera 
25 sind mit einem passend zugeschnittenen "Universal- Fra- 
me-Grabber" zur Digitalisierung der Bilddaten beson- 
ders wirksam. Ein derartiger Frame-Grabber muB in 
der Lage sein, abweichend vom "Grabben" eines VoLlbil- 
des auch die von der Kamera gelieferten und teilweise 
30 nicht zusammenhangenden Bildsegmente richtig zu ver- 
arbeiten. Um dieses Ziel zu erreichen wird eine geeigne- 
te Schnittstelle zwischen Kamera und Grabber ausgear- 
beitet Die Schnittstelle zwischen Kamera und Grabber 
besteht aus sieben Signalleitungen (Fig. 5.2). Neben dem 
eigentiichen Video- Signal werden funf weitere Steuersi- 
gnale von der Kamera zum Grabber ubertragen, damit 
das Ablauf-Steuerwerk des Grabbers die Bildausgabe 
der Kamera bei alien moglichen Betriebsarten nachvoil- 
ziehen kann. Die funf Steuerleitungen haben folgende 
Funktionen: 

(a) Neues Bild (Bild-Synchronsignal) 

Zu Beginn eines jeden Bildzyklus (fur ein Halbbild) 
wird ein Bild-Synchronsignal ubertragen. Das Signal 
veranlaBt das Steuerwerk, mit dem "Grabben" eines 
neuen Bildes zu beginnen. Der Zeilenzahler des Steuer- 
werks wird zuruckgesetzL 

(b) Halbbild I 

Das Signal wird benotigt, um zwischen den beiden 
aufeinanderfolgenden Halbbildern (mit geraden und un- 
geraden Bildzeilen im CCIR-TV-Modus) unterscheiden 
zu konnen. Ist Halbbild 1 aktiv, werden die digitalisier- 
ten Bilddaten in ungerade Zeilenpositionen des Bild- 
speichers geschrieben, ansonsten werden die geraden 
Zeilenpositionen beschrieben. 

(c) Neue Zeile (Zeilen-Synchronsignal) 

Zu Beginn eines jeden Zeilenzyklus wird ein Zeilen- 
Synchronsignal ubertragen. Das Signal veranlaBt den 
Grabber, den Zeilenzahler zu inkrementieren und den 
Pixelzahler zuruckzusetzen. Die nachfolgenden digitali- 
sierten Bildpunkte werden somit in die nachste "Zeile" 
im Bildspeicherdes Grabbers eingetragen. 



55 
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(d) PHI (Pixel-Schiebetakt) 

Urn einen definierten Abtastzeitpunkt mit einem 
moglichst geringen Abtast-Jitter zu erhalten, wurde der 
Pixel-Schiebetakt PHI aus dem Signal F2L t das von der 
Kamera-Ansteuerelektronik generiert wird, abgeleitet. 
Dieses Synchronisationssigna) wird direkt auf den Takt- 
eingang des A/D-Wandlers des Grabbers gelegt Das 
Signal laBt sich in der Phasenlage variieren, urn Lauf- 
zeiteffekte in der Obertragungsleitung von der Kamera 
zum Grabber zu kompensieren. Damit wird stets eine 
exakte pixelsynchrone Abtastung des Video-Signals ge- 
wahrleistet 

(e) Pixel giiltig 

Das Signal wird zur Unterscheidung zwischen giilti- 
gen Bildpunkten und Pre-, Post- bzw. Dunkelreferenz- 
Pixeln benotigt. Nur wenn dieses Signal aktiv ist, han- 
delt es sich bei den ankommenden Pixeln um relevante 
Bildpunkte. Wahrend der Ausgabe der Pre-, Post- und 
Dunkelreferenz- Pixel einer Zeile wird das Signal deakti- 
viert, so daB diese Pbcel vom Grabber nicht digitalisiert 
bzw. in den Bildspeicher iibertragen werden. 

Ein wei teres Steuersignal wird vom Grabber zur 
Kamera ubertragen: Kamera Start 

Ist das Signal aktiv, kann der Kamera-Sequenzer den 
CCD-Bildsensor zyklisch auslesen. Wird das Signal in- 
aktiv geschaltet, bleibt der Kamera-Sequenzer nach der 
Abarbeitung des momentan laufenden Bildzyklus ste- 
hen. Mit einem kurzen Impuls auf dieser Signalleitung 
laBt sich ein einzelner Bildzyklus der Kamera vom 
Grabber aus antriggern. Damit kann die Bildfrequenz 
der Kamera beliebig eingestellt werden, sofern die Peri- 
odendauer nicht kleiner gewahlt wird als die vom Ka- 
mera-Sequenz er benotigte Zeit fur die Ausgabe aller 
gewiinschten Bildteile. 

Die Bildfolge laBt sich uber diese Signalleitung z. B. 
mit dem Abtast und Regeltakt der Robotersteuerung 
synchronisieren, oder es kann eine extrem kurze Bildfol- 
ge realisiert werden, z. B. f iir Zeitraffer-Aufnahmen. 

Der Frame-Grabber beinhaltet ein programmierba^ 
res, autonom arbeitendes Ablaufsteuerwerk zum zykli- 
schen Erfassen der vom Sensor gelieferten Bildinforma- 
tionen. Das Videosignal wird hierbei in 256 Graustufen 
digitalisiert. Der Frame-Grabber bildet die physikali- 
sche Pixel- Matrix des CCD-Sensors als virtuelle Pixel- 
Matrix in einem 1 MByte groBen Zweitorspeicher ab. 
Zu jedem Bildpunkt der Pixel-Matrix im CCD-Sensor 
korrespondiert somit ein Byte im Speicher des Frame- 
Grabbers. Der Grabber ist ferner ebenfalls mit einem 
Transputer (IMS T805) sowie 4 MByte Arbeitsspeicher 
ausgestattet, so daB er per Link die Kamerafunktionen 
programmieren und uberwachen kann. Der Transputer 
hat uber den Zweitorspeicher unmittelbaren Zugriff auf 
die digitalisierten Bilddaten. Er kann sie uber mehrere 
Link-Verbindungen mit einer beachtlichen Obertra- 
gungsbandbreite in ein weiteres Transputer-Netz zur 
Echtzeit-Datenverarbeitung transferieren (Transputer 
l,2,n). 

Das vollstandige Einlesen eines Bildes wird dem 
Transputer mittels eines vom Ablaufsteuerwerk gene- 
rierten Bild- Interrupts bekanntgegeben, um geringe 
Laufzeiten und somit kurze Antwortzeiten der Rege- 
lung zu erreichen. 

Das Einlesen der Bilddaten in den Speicher des Fra- 
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me-Grabbers ist mit dem Beschreiben einer Papierseite 
mit einem Drucker (z. B. Typenraddrucker) vergleich- 
bar: 

5 — Der Grabber positioniert nach Empfang des 
Bild-Synchronsignals Neues Bild den Schreibzeiger 
auf die erste Pixel-Position in der ersten Zeile der 
virtuellen Pixel-Matrix — und zwar abhangig von 
dem Signal Halbbild auf die erste ungerade oder 
io auf die erste gerade Zeile. Dieser Schritt ist mit dem 
Papiereinzug in den Drucker sowie dem Ausrichten 
des Druckkopfes auf die erste Schreibposition ver- 
gleichbar. 

— Digitalisierte Bildpunkte werden so lange se- 
15 quentiell in aufeirianderfolgende Byte-Positionen 

geschrieben, bis ein Zeilen-Synchronsignal Neue 
Zeile (entsprechend einem Zeilenrucklauf beim 
Drucker) empfangen wird. Es muB also keinesfalls 
stets eine komplette Bildzeiie ubertragen werden. 
20 Vielmehr darf die ausgelesene Anzahl Pixel in jeder 
Bildzeiie beliebig variieren. 

— Treffen mehrere Zeilen-Synchronsignale unmit- 
telbar nacheinander ein, werden die entsprechen- 
den Bildzeilen im Zweitorspeicher des Grabbers 

25 ubersprungen, Dabei wird lediglich der ZeilenzaMi- 
ler inkrementiert (entsprechend dem Einfugen von 
Leerzeilen bei einem Druckvorgang). 

Im Gegensatz zu herkommlichen Frame-Grabbern 
30 ist der hier vorgestellte "Universal-Frame-Grabber" in 
der Lage, beliebige Bildformate von einer I*l-Bildma- 
trix bis zu einer 10241 024- Bildmatrix ohne Umprogram- 
mierung des Steuerwerks korrekt einzulesen. Er unter- 
stiitzt darnit direkt unterschiedliche CCD -Sensor en, 
35 speziell also auch den THX 7868 A mit 768-576 Bild- 
punkten. Auf einanderfolgende Zeilen durfen in der Lan- 
ge beliebig variieren. 

Die Bildinformationen werden vom Steuerwerk auto- 
matisch genau an die Positionen im Zweitorspeicher 
40 geschrieben, die den physikalischen Bildpunktpositio- 
nen im CCD-Bildaufnehmer entsprechen. 

Grabber und Kamera bilden in Verbindung mit der 
Schnittstelle eine besonders leistungsfahige Einheit fur 
- —eine fortschrittliche Echtzeit-Biiddatenerfassung und 
45 -Bildverarbeitung. 

Aus dem Testbild in Fig- 6.1 geht hervor, daB jede 
Zeile individuell auf ungespiegeltes Auslesen uber 
VOS1 oder gespiegeltes Auslesen uber VOS2 program- 
miert werden kann. Im obersten Bildabschnitt wurden 
so alle Zeilen normal ausgelesen, im zweiten Funftel des 
Bildes wurde jede gerade Zeile gespiegelt ausgelesen. In 
der Bildmitte wurden alle Zeilen, im darauffolgenden 
Bildteil nur die ungeraden Zeilen spiegelverkehrt ausge- 
lesen. Der unterste Abschnitt enthalt schlieBlich wieder 
55 nur ungespiegelte Bildzeilen. Die Spiegelungsfunktion 
ist z. B. fur die optimale Umsetzung der Tracking- Funk- 
tion von Interesse (vgl Fig. 3.6). 

In Fig- 6.2 ist die Funktion der Windowing-Einheit 
veranschaulicht. Die AusschnittsvergrdBerung eines Bil- 
eo des zeigt den Obergangsbereich zwischen der komplett 
geloschten Halfte eines Kamerabildes und der sich dar- 
an anschlieBenden zweiten Bildhalfte, die ausgelesen 
wurde. Die erste ausgelesene Zeile ist nicht heller als die 
folgenden Zeilen, was darauf schlieBen laBt, daB samtli- 
65 che Ladungen aus den geloschten Zeilen tatsachlich 
komplett geloscht worden sind (vgl. Fig, 33; Probleme 
mit dem TH 7864 ohne Windowing-Einheit). Die erste 
ausgelesene Zeile ist aber auch nicht dunkler als die 
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folgenden Zeilen, was belegt, daB die Windowmg-Funk- 
tion rechtzeitig zwischen Loschen und Auslesen um- 
schaltet, so daB die Information in der ersten Nutzzeile 
durch das Loschen der vorangehenden Zeile nicht m 
Mitleidenschaft gezogen bzw. nicht teilweise mit ge- 5 
loschtwird. # 

Fig. 6.4 veranschaulicht, daB sich die auszulesende Pi- 
xel-Anzahl fur jede Zeile individuell einstellen laBt. Die 
schwarzen Bereiche kennzeichnen Bildteile, die nicht 
aus dem CCD-Sensor ausgelesen sondern bereits im 10 
Sensor geldscht wurden. Die eingesparten Auslesezei- 
ten fur jede unvollstandig ausgelesene Zeile summieren 
sich auf, so daB die Auslesezeit urn so kleiner ist, je 
groBer die schwarzen Bereiche sind. Die interessieren- 
den Bereiche eines Bildes konnen damit stets zeitopti- 15 
mal ausgelesen werden. Insbesondere laBt sich die ef- 
fektive Pixel-Matrix des Sensors je nach Aufgabe und 
Echtzeit-Anforderung beliebig zwischen 1*1 und 
768-576 Bildpunkten programmieren. 

Im Extremfall kann die Anzahl ausgelesener Zeilen 20 
Null betragen, was natiirlich keinen Sinn ergibt. Das 
"Scannen" mit einer beliebigen Zeile — oder sogar nur 
mit einem Teil einer Zeile — ist hingegen eine sehr 
interessante Anwendung. Die Fig. 6.5 entstand durch 
das Scannen mit (nur) der Zeile 147. Die Bildfolge wurde 25 
dabei durch Synchronisation mit einer Robotersteue- 
rung auf 1000 Bildzyklen pro Sekunde — das entspricht 
dem Interpolationstakt der Robotersteuerung — einge- 
stellL Vor der Kamera wurde die Spielkarte zugig von 
oben nach unten durchgezogen. Als der Kartenrand die 30 
"sensitive" Zeile 147 erreichte, wurde der Helligkeitsre- 
flex vom Grabber registries und damit die Auswertung 
von 1024 aufeinanderfolgenden Bildzeilen im Millise- 
kundentakt getriggert Der Frame-Grabber digitalisier- 
te die eintreffenden Bildzeilen und kopierte sie aus dem 35 
Bildspeicher in aufeinanderfolgende Zeilenpositionen 
im Arbeitsspeicher. Die Aneinanderreihung der 1024 
Bildzeilen ergab das dargestellte Scan-Bild mit 1024768 
Bildpunkten. 

DaB es sich tatsachlich urn ein Scan-Bild handelt, ist 40 
daran zu erkennen, daB aufgrund der nicht konstanten 
Geschwindigkeit, mit der die Karte beim Scannen vor 
der sensitiven Bildzeile bewegt wurde, die obere Halfte — 
des Bildes gestaucht und die untere Halfte gestreckt 
erscheint. Beim Scannen mit der ersten Bildzeile kann 45 
eine Scan-Frequenz von 2500 Hz erreicht werden, was 
in der GroBenordnung gangiger CCD-Zeilensensoren 
liegt. 

In Fig. 6.6 ist der Zeitbedarf zum Auslesen von 1 bis 3 
Bildzeilen dargestellt, und zwar in Abhangigkeit von der 50 
Nummer der ietzten ausgelesenen Bildzeile. In Fig. 6.7 
ist schlieBlich der Zeitbedarf zum zeitoptimalen Ausle- 
sen von n beliebigen sowie der n ersten Zeilen darge- 
stellt. 

Das auf der Kamera basierende MeBsystem nutzt im 55 
Beispiel nur drei frei wahlbare Bildzeilen des CCD-Bild- 
sensors fur die Messung von fiinf raumlichen Freiheits- 
graden mit einer MeBrate von 1000 Messungen pro Se- 
kunde (Abtastfrequenz von 1 kHz). 

60 

(A) Aus einer vor laufenden Bildzeile werden Da- 
ten fur eine effiziente Bahnplanung und eine karte- 
sische Vorsteuerung gewonnen werden. 

(B) Die mittlere Zeile erfaBt die Ist-Position des 
Werkzeugbezugspunktes des Roboters, dessen Po- 65 
sition relativ zu der Bahnlinie geregeit wird. 

(C) Eine nachlaufende Zeile unterstutzt schlieBlich 
die Messung einiger Parameter, wodurch die MeB- 



genauigkeit gesteigert werden kann. 

Die Wahl der Vor- und der Nachlaufzeile kann dyna- 
misch an den Bahnverlauf und an die momentane Bahn- 
geschwindigkeit angepaBt werden. 

Anhand der Fig. 2.2 ist das Prinzip erlautert worden, 
wie ein Linienerkennungs-Algorithmus mit hoher Ab- 
tastfrequenz die Position der Bahnkurve B zwischen 
zwei MeBlinien 13 und 14 bestimmen kann obwohl nur 
eine einzige querverlaufende Scan-Zeile aus dem CCD 
ausgelesen und verarbeitet wird. 

Dieses Leistungsergebnis wird potenziert durch eine 
Interpolation. Mit ihr wird der Abstand des in der Ab- 
tastzeile a liegenden Punktes Z der Bahnkurve B zwi- 
schen verschiedenen der anderen MeBlinien li — ► lj ge- 
messen und verarbeitet. Im Beispiel der Fig. 2.2 bieten 
sich dazu gar 18 Moglichkeiten die Position von Z zu 
berechnen (von li nach U, von b nach U, von I3 nach 1 4 ; 
von li nach 1 5 , von 1 2 nach I 5 , von lj nach 1 5 ; usw.). Bildet 
man aus dieser Vielzahl von MeBwerten einen Mittel- 
wert _ interpoliert man — so kann die Position von Z 
sogar anhand des Mittelpunktes der Breite der Bahn- 
kurve B angegeben werde. Selbst breite, sogar unregel- 
maBige Bahnlinien werden dadurch kompensiert. Einer 
(von vielen) Algorithmen zu Interpolation ist in Fig. 1.1 
angegeben. 

Aufgrund ihrer enormen Flexibilitat kann der Frame- 
grabber auch fur unterschiedlichste andere Aufgaben 
eingesetzt werden, vor allem fur Aufgaben, bei denen es 
auf eine schnelle Bereitsteilung der Daten aus selekuer- 
ten Bildbereichen oder aus wenigen frei wahlbaren Zei- 
len ankommt Besonders fur den Aufbau schneller und 
hochgenauer optischer MeBsysterne hat die Kamera 
aufgrund ihrer hohen Flexibilitat entscheidende Vortei- 
le gegenuber herkommlichen CCD-Vollbild- und Zei- 
len- Kameras haben. 

Patentanspruche 

1. Verwendung der Anti-Blooming- Elektrode eines 
CCD-Bildsensors zum Loschen des CCD-Inhaltes 
(der darauf befindlichen Ladung), bevor der CCD- 

Jnhalt (ganz) ausgelesen wurde. 

2. Verwendung nach Anspruch 1, wdbei das La- 
dungsbild mit der Anti-Blooming-Elektrode nach 
Auslesen einiger Zeilen geloscht wird. 

3. Verwendung nach Anspruch 1 oder 2, wobei das 
Ladungsbild des Sensors geloscht wird, nachdem 
(nur) eine Zeile ausgelesen wurde. 

4. Verwendung nach einem der erwahnten Ansprii- 
che, bei dem das Auslesen und das Auf integrieren 
der in dem CCD-Chip gespeicherten Ladung ver- 
schachtelt ist, wobei 

(a) das in die Speicherzone des CCD-Chips 
verschobene Teilbild (weiter) zum Auslesere- 
gister verschoben wird; 

(b) das Anti-Blooming- Drain des CCD-Chips 
zum Loschen des (noch) in der Bildzone des 
CCD-Chips befindlichen Rest-Ladungsbildes 
verwendet wird; 

(c) (schon) wahrend des Verschiebens oder 
Auslesens gemaB 

(a) ein neues Ladungsbild in der Bildzone des 
CCD-Chips belichtet oder aufgebaut wird. 

5. Verwendung nach einem der erwahnten Anspru- 
che, bei dem das/ein Ausleseregister abhangig von 
der Lage des Teilbildes nach der einen oder ande- 
ren Seite ausgelesen wird (Bild 3.6). 



BNSDOCID: <DE 4447434A1 J_> 



DE 44 47 434 Al 

17 18 

6. CCD-Bildsensor mit Bildzone aber ohne Spei- 
cherzone, wobei das Seriell-Ausleseregister direkt 
an der (Ladungs-) Bildzone angeordnet ist. 

7. CCD-Bildsensor nach Anspruch 6, bei dem eine 
Fenster-Ausblendeinheit vorgesehen ist. 5 
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9) f) e) 

Bild 3.2 Bildaufnahme und Auslesevorgang 
bei einem Frame-Transfer-Sensor 
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